package com.doitedu.core

import com.doitedu.utils.SparkUtil
import org.apache.spark.rdd.RDD

/**
 * @Date: 22.6.28 
 * @Author: HANGGE
 * @qq: 598196583
 * @Tips: 学大数据 ,到多易教育
 * @Description:
 *   测试使用  本地集合转换成RDD
 *       本地集合必须是Seq的子集  Map集合不能直接转换成RDD
 */
object C05MakeRDD_Collections {
  def main(args: Array[String]): Unit = {

    val arr = Array[Int](1,2,3,4,5)
    val ls = List[String]("吴签", "罗志祥" , "王力宏" , "李云迪","刘勇")
    val mp = Map[String,Int]("zss"->23 , ("lss",33))
    val list = mp.toList
    val sc = SparkUtil.getSparkContext("mkRDD_clollection")
    val rdd1: RDD[Int] = sc.makeRDD(arr)
    val rdd2: RDD[String] = sc.makeRDD(ls)
   //创建RDD方式
    val rdd = sc.parallelize(arr, 1)
   // sc.makeRDD(list)

    // 处理数据  转换算子(从一个RDD转换另一个RDD)
    val resRDD1: RDD[Int] = rdd1.map(_ * 10)
    // 行动算子  触发程序执行  加载数据
     resRDD1.foreach(println)
    sc.stop()

  }

}
